Clay sinh ra ở Quận Jefferson, Kentucky, con trai của Herman H. Clay (sinh: Tháng 3 năm 1876 - mất 1/2/1954) và Edith E.Greathouse (sinh: Tháng 12 năm 1890 - mất 30/12/1971[4]). Ông có một người chị gái và bốn người em trai, bao gồm cả Nathaniel Clay[5][6]. Ông bà nội của Clay là John Clay và Sallie Anne Clay. Chị gái của ông, Eva nói Sallie được sinh ra ở Madagascar.[7] Tên ông được đặt sau khi nhà chính trị gia của Đảng Cộng hòa (Hoa Kỳ) và nhà chính trị theo chủ nghĩa bãi nô, Cassius Marcellus Clay, cũng từ bang Kentucky.[8]

Clay sơn các bảng thông báo và biển báo.[8] Ông cũng chơi piano, dạy các buổi học chơi piano và sáng tác nhạc. Vào khoảng năm 1933, ông cưới Odessa Lee O'Grady.[9] Ông là một người nghiện rượu nặng, dẫn đến việc vướng vào tội lái xe ẩu, náo loạn nơi công cộng, và hành hung.[10] Khi được hỏi vào năm 1970 lý do tại sao ông không tham gia vào Người Hồi giáo như con trai ông làm, ông nói: "Tôn giáo của tôi là sự tài năng của tôi, thứ mà luôn luôn ủng hộ tôi".[11]

Clay qua đời vào tuổi 77 vào ngày 8 tháng 2 năm 1990, sau khi lên một cơn Nhồi máu cơ tim khi ông ra khỏi một cửa hàng bách hóa ở Quận Jefferson, Kentucky.